В репозитории https://github.com/Koziev/GrammarEngine обновлены исходники русской словарной базы.

Новая версия содержит увеличенный примерно на 10% лексикон, множество исправлений в морфологической разметке слова, а также доработки в синтаксическом анализаторе.

Сборка из C++ исходников проверена под MS Windows с VisualStudio 2015 и под Ubuntu v16

Далее будут кратко описаны три модели. Две модели для частичной разметки соответствуют последовательным экспериментам по выбору общей архитектуры. Условно они называются Model1 и Ensemble. Модель лемматизации общая, ансамбль для нее я не делал, хотя это безусловно возможно и даже желательно.

Исходные тексты можно найти на гитхабе: https://github. ( Read more... )

В русскую словарную базу добавилось около 1000 глаголов с наиболее продуктивными моделями, включая такие архиважнейшие слова, как пинговать и сконфигурироватьсяДалее по плану: пересчет вероятностной модели русской морфологии, чтобы получить актуальный part-of-speech tagger. Затем - лемматизация 45 Гб корпуса текстов, включая википедию и новости. ( Read more... )

В русский лексикон добавлю несколько сотен слов машиностроительной тематики. Всякие фланцы, припои и т.д.

Также хочу сделать частотную обработку 15 Гб корпуса, полученного добавлением русской википедии к ранее собранным текстам.